package com.doitedu.utils

import com.doitedu.core2.Teacher
import org.apache.log4j.{Level, Logger}
import org.apache.spark.{SparkConf, SparkContext}

/**
 * @Date: 22.6.28 
 * @Author: HANGGE
 * @qq: 598196583
 * @Tips: 学大数据 ,到多易教育
 * @Description:
 */
object SparkUtil {

  // 设置代码运行日志级别
  Logger.getLogger("org").setLevel(Level.ERROR)
  /**
   * 获取一个本地的SC对象环境 默认使用的核数是1
   * @param appName
   * @return
   */
  def getSparkContext(appName:String):SparkContext={
    val conf = new SparkConf().setAppName(appName).setMaster(s"local[*]")
    // 设置序列化方式
     .set("spark.serializer",
        "org.apache.spark.serializer.KryoSerializer")
      .registerKryoClasses(Array(classOf[Teacher]))
    new SparkContext(conf)
  }


}
